虚拟计算环境下性能可预测编程模型及其支撑技术研究

【摘要】随着数据规模越来越大，复杂程度越来越高，建立大规模数据中心来对海量数据进行存储和分析成为一个新的趋势。为了有效地管理系统资源和提高系统可靠性，数据中心大多采用了虚拟化技术。基于虚拟化的数据中心将大量计算、存储和通信等资源整合到一起，以虚拟化的方式提供按需配置资源的服务模式。为了更好地利用资源，需要研究适合虚拟计算环境的并行编程模型，且编程模型应该具有性能可预测性，可以指导开发人员设计应用和配置资源。BSP模型具有性能可预测、容易编程、能避免死锁等优点，BSP模型不仅适合科学计算，近几年在并行数据库、搜索引擎、大规模图处理等领域获得了广泛应用，但是BSP模型必须与硬件结构相结合，才能充分利用硬件结构，以达到性能最优。到目前为止，在将BSP模型与虚拟计算环境相结合，研究虚拟计算环境下基于BSP模型的大数据处理框架方面的研究还比较欠缺，本文正是基于这个目的，围绕虚拟计算环境下性能可预测并行编程模型及其支撑技术展开，本文主要的研究成果如下：(1)针对目前面向大数据处理的并行编程模型研究中存在的不足，利用BSP模型性能可预测、易于编程、消息传递不产生死锁等优点，将BSP模型与虚拟计算环境相结合，提出一种虚拟计算环境下分布式内存与共享内存混合的并行编程模型BSPCloud。(2)网络I/O是影响BSPCloud应用性能的一个很重要的因素，在虚拟计算环境下，由于多个虚拟机共享和竞争同一I/O资源，导致虚拟机的I/O性能很难保障。本文提出一种基于I/O请求排队的网络资源调度方法。该方法根据各虚拟机的网络带宽周期性地为其分配相应的额度值，利用该额度值控制I/O请求量。通过实验对该方法进行了性能分析和验证，结果表明该方法能有效保障虚拟机的网络I/O性能。(3)针对虚拟计算环境下，由于VCPU调度次序的不确定性导致BSPCloud应用性能降低和性能预测能力下降的问题，提出一种基于虚拟域的VCPU协同调度方法，该方法将组调度和虚拟域相结合，可以避免VCPU调度的不确定性，提高BSPCloud应用的性能和预测能力。通过实验对该方法进行了性能分析和验证，结果表明该方法能有效提高BSPCloud应用性能和预测能力。(4)在虚拟计算环境下，运行不同类型应用(比如计算密集型，I/O密集型)的虚拟机在同一物理平台上运行时，静态的资源分配策略不能充分利用底层物理资源。另外，BSPCloud应用将计算和通信相分离，静态的资源分配策略会导致BSPCloud应用在计算阶段浪费大量网络I/O资源，而在通信阶段却浪费大量的计算资源。为了解决这个问题，本文提出一种资源动态分配方法CRDA，该方法利用虚拟机的资源分配和消耗情况来预测其资源需求，根据各虚拟机的实际需求动态分配资源。实验结果表明该方法可以在混合负载环境下提高资源利用率，从而提高BSPCloud应用的性能。(5)目前，基于虚拟化的资源整合变得非常流行，BSPCloud应用通常会提交到虚拟计算中心运行，为了可以预测BSPCloud在虚拟计算中心运行时的响应时间，本文对虚拟计算中心进行性能建模，将一个服务请求划分为多个子任务，将每个子任务的处理时间划分为计算和通信两个阶段，并充分考虑虚拟计算中心的资源调度策略和虚拟机之间的资源共享。
【作者】刘晓东；
【导师】童维勤；
【作者基本信息】上海大学，计算机应用技术，2014，博士
【关键词】并行计算；编程模型；虚拟化；资源调度；响应时间；

【参考文献】
[1]记者王夕.伊鸣：我想消除人的负面情绪[N].北京科技报,2014-11-03037.
[2]李振军.嗜酸乳杆菌对小鼠感染大肠杆菌O157：H7的预防和治疗作用研究[D].山西医科大学,免疫学,2002,硕士.
[3]张景姝.一类模糊运输问题模型与结构元解法[D].辽宁工程技术大学,应用数学,2012,硕士.
[4]朱心奇,王森林.石墨与石墨烯的电磁性及其小实验[J].实验教学与仪器,2014,04:39-40.
[5]孔俊.我国制造业中FDI行业内与行业间溢出效应研究[D].浙江大学,2007.
[6]英杰.关广志先生绘画艺术特点研究[D].内蒙古师范大学,美术学,2012,硕士.
[7]姚卫新,黄丽华.智能数据分析在医学领域的应用综述[J].计算机工程,2004,07:3-5.
[8]李卫华.抗生素诱导小鼠小肠菌群失衡对树突细胞结构和功能的影响[D].大连医科大学,病原生物学,2012,硕士.
[9]马鹏.黄酮木脂素5-MHC的合成条件优化及其耐药活性研究[D].河南科技大学,有机化学,2013,硕士.
[10]许永娟.蛋白质的定向固定化：亲和作用和LB法[D].浙江理工大学,2014.
[11]付世昌,董一鸿,唐燕琳,陈华辉,钱江波.基于事件的位置不确定移动对象连续概率Skyline查询[J].自动化学报,2011,07:836-848.
[12]杨玲燕.中小企业资本结构的动态变化及其目标调整研究[D].江南大学,企业管理,2013,硕士.
[13]胡敏.ZT集团在眼镜零售业并购中基于财务估值模型的企业价值评估[D].华东理工大学,工商管理（专业学位）,2013,硕士.
[14]董婧旭.论刘文金二胡作品的创作风格与演奏技法的特征[D].天津音乐学院,音乐表演,2014,硕士.
[15]王巍.13-14岁组个人混合泳项目转换能力训练的研究[D].北京体育大学,运动训练学,2013,硕士.
[16]乐恒.井中三分量磁力仪的千米数传技术研究及其实现[D].中国地质大学（北京）,信息与通信工程,2014,硕士.
[17]梁超燕.基于连续信念系统的中国A股市场不对称羊群行为研究[D].华中科技大学,数量经济学,2012,硕士.
[18]陈国一.基于模糊聚类的粪便镜检图像识别研究[D].西安工业大学,计算机应用技术,2014,硕士.
[19]李秋新.双极串联电渣炉的建模与仿真[D].东北大学,控制理论与控制工程,2011,硕士.
[20]潘天红,杨一力.基于动态MANCOVA的混合制程虚拟测量算法[J].控制与决策.
[21]刘维爽.中国基层应急预案建设问题研究[D].南开大学,行政管理,2012,硕士.
[22]朱龙玉.食管癌同期放化疗的临床研究[D].河北医科大学,肿瘤学（专业学位）,2014,硕士.
[23]黄建新.船舶电站微机保护及自动准同步并车系统研究[D].大连海事大学,电力电子与电力传动,2004,硕士.
[24]洪炜鸿.壮肾固精方对糖尿病肾病Ⅲ期患者尿微量白蛋白的影响[D].广州中医药大学,中医内科学（专业学位）,2013,硕士.
[25]岑紫媚.表界面胶束聚合法研究CTAB在受限制的固/液界面中的吸附行为[D].华南理工大学,2014.
[26]张方方.期权套利的收益率分布估计[D].华中师范大学,概率论与数理统计,2013,硕士.
[27]郑灿.TDRD7单核苷酸多态性与年龄相关性白内障的关联分析及其机制研究[D].第三军医大学,眼科学（专业学位）,2014,博士.
[28]赵望达,段方英,徐志胜.铁路特大桥梁施工中混凝土温度应力监控系统的研制[J].中国铁路.2004(11)
[29]王敏.发挥思想政治课优势引导中学生抵御享乐主义侵蚀的研究[D].河北师范大学,教育,2013,硕士.
[30]周佳睿.二节棍运动的技术动作体系研究[D].湖南师范大学,运动训练学（专业学位）,2014,硕士.
[31]李忠岩.基于.net的职业中专教学管理系统的设计与实现[D].东北大学,计算机技术,2011,硕士.
[32]孙林涛.摄像测量中的特征提取和匹配技术研究[D].国防科学技术大学,航空宇航科学与技术,2013,硕士.
[33]宫以栋.西藏斑岩型铜矿成矿模式[D].成都理工大学,矿产普查与勘探,2013,硕士.
[34]李旭,范一锴,黄新.快速测量非饱和土渗透系数的湿润锋前进法适用性研究[J].岩土力学,2014,05:1489-1494.
[35]万立明.革命根据地的科学与技术（1927—1949）[D].福建师范大学,中国近现代史,2004,硕士.
[36]陈为飞.近海风机塔架风浪荷载分析[D].浙江大学,2010.
[37]宝勒德.鄂尔多斯市土地利用总体规划实施评价研究[D].中国地质大学（北京）,公共管理,2014,硕士.
[38]袁慧慧.基于服装产品研发的信息情报系统研究[D].浙江理工大学,设计艺术学,2013,硕士.
[39]郑欣.谭恩美长篇小说中的“死亡”意象分析[D].北京外国语大学,比较文学与世界文学,2013,硕士.
[40]范晓梅.青少年网络道德教育研究[D].山西师范大学,马克思主义理论,2013,硕士.
[41]孔宋华.环境响应性石墨烯基凝胶的制备及表征[D].浙江工业大学,2013.
[42]安亭.抗战时期党的形势政策教育及其现实启示研究[D].延安大学,思想政治教育,2014,硕士.
[43]高琨.小学低年级识字教学现状及实施策略的研究[D].东北师范大学,教育,2012,硕士.
[44]朱旭.我国省级科技情报机构网站信息服务研究[D].河北大学,情报学,2014,硕士.
[45]郝梦琳.手写体数字识别方法的研究与实现[D].太原科技大学,电路与系统,2013,硕士.
[46]葛瑞玉.经济型酒店地区扩张战略研究[D].山东大学,旅游管理,2013,硕士.
[47]刘宾.多媒体彩信增值业务的市场发展分析报告[D].清华大学,2004.
[48]陈涛.PVD法制备（Ti，Al）N涂层的残余应力分析及研究[D].长春工业大学,材料学,2013,硕士.
[49]曹亚美.儿童母语习得个案研究[D].湖南师范大学,汉语国际教育（专业学位）,2013,硕士.
[50]谭绍泉.海上煤田高精度三维地震采集技术及应用效果[J].石油地球物理勘探,2004,03:253-258+243-369.